#Usea-Agent
"""
用户代理池：
    将不同的用户代理组建成为一个池子，随后随即调用
    比仅仅是一个用户代理的反爬效果要好一点

"""
import urllib.request
import re
import random

uapools=[
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",#谷歌浏览器
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5514.400 QQBrowser/10.1.1614.400",#QQ浏览器
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko",#IE浏览器
    #好像同一个浏览器的不同模式（搜狗的兼容模式）使用的用户代理也不一样
    #百度搜一下也可以找到别的用户代理地址
]

def ua(random_uapools):
    this_ua=random.choice(random_uapools)
    print(this_ua)
    headers = ("User-Agent",this_ua)
    opener = urllib.request.build_opener()
    opener.addheaders = [headers]
    #安装为全局
    urllib.request.install_opener(opener)

ua(uapools)
"""
下面是实验代码（爬百度贴吧再来一遍）
for i in range(1,6):
    ua(uapools)
    url="https://tieba.baidu.com/f?kw="+keywd_code+"&pn="+str((i-1)*50)
    data=urllib.request.urlopen(url).read().decode("UTF-8",'ignore')
    #print(data)
    pat='<a rel="noreferrer" href="(.*?)" title="'
    
    rst=re.compile(pat).findall(data)
    for j in range(len(rst)):
        print("https://tieba.baidu.com"+rst[j])
        print("------------------------")
"""